Kim Yong-chun sinh ngày 4 tháng 3 năm 1936 tại quận Pochon tỉnh Yanggang, ông từng học tại Học viện Cách mạng Vạn Cảnh Đài (萬景臺革命學院) và Trường Đại học Tổng hợp quân sự Kim Nhật Thành trước khi bắt đầu sự nghiệp của mình trong bộ máy đảng và Quân đội Nhân dân Triều Tiên. Năm 1956, Kim Yong-chun nhập ngũ, ông từng đảm nhiệm các chức vụ Tham mưu trưởng Cục Trinh sát, Bộ Tổng Tham mưu, Cục trưởng; Phó Tổng Tham mưu trưởng kiêm Cục trưởng Cục Tác chiến và Sở trưởng Sở Huấn luyện.[3]

Năm 1980, tại Đại hội Đảng Lao động Triều Tiên lần thứ 6, Kim Yong-chun được bầu làm Ủy viên dự khuyết Ủy ban Trung ương Đảng Lao động Triều Tiên (WPK). Tháng 12 năm 1986, ông được bầu làm Ủy viên chính thức Ủy ban Trung ương Đảng lao động Triều Tiên và được bầu làm Phó Chủ tịch Hội đồng Nhân dân Tối cao.

Tháng 4 năm 1992, Kim Yong-chun được phong quân hàm Đại tướng Quân đội Nhân dân Triều Tiên. Tháng 10 năm 1993, nhậm chức Tổng cục trưởng Tổng cục Động viên Quân nhu. Tháng 3 năm 1994, bổ nhiệm giữ chức Tư lệnh Quân đoàn 6, Quân đội Nhân dân Triều Tiên.

Tháng 10 năm 1995, Kim Yong-chun được phong quân hàm Thứ soái, tức Phó Nguyên soái Quân đội Nhân dân Triều Tiên, đồng thời được bổ nhiệm giữ chức vụ Tổng Tham mưu trưởng Quân đội Nhân dân Triều Tiên. Tháng 9 năm 1998 đến tháng 4 năm 2007, Kim Yong-chun là Ủy viên Ủy ban Quốc phòng Triều Tiên.

Ngày 11 tháng 4 năm 2007, tại kỳ họp thứ năm của Hội đồng Nhân dân Tối cao lần thứ 11, Kim Yong-chun được bầu làm Phó Chủ tịch Ủy ban Quốc phòng Triều Tiên.

Ngày 11 tháng 2 năm 2009, Kim Yong-chun được bổ nhiệm giữ chức vụ Bộ trưởng Bộ Quốc phòng Triều Tiên. Tháng 9 năm 2010, tại kỳ họp thứ ba của Đảng Lao động Triều Tiên, Kim Yong-chun được bầu làm Ủy viên Bộ Chính trị Đảng Lao động Triều Tiên, Ủy viên Ủy ban Quân sự Trung ương Đảng Lao động Triều Tiên.

Tháng 12 năm 2011, sau cái chết của nhà lãnh đạo, tên của Kim Yong-chun được xếp ở vị trí thứ năm trong số các thành viên của Ủy ban tang lễ quốc gia Kim Jong-il, xếp ngay sau Kim Jong-un và các thành viên Bộ Chính trị (Kim Yong-nam, Choe Yong-rim và Ri Yong-ho.

Tháng 4 năm 2012, Kim Yong-chun được miễn nhiệm chức vụ Bộ trưởng Bộ Quốc phòng Triều Tiên, để nhận nhiệm vụ mới là Trưởng ban Quốc phòng toàn dân thuộc Ủy ban Quân sự Trung ương Đảng Lao động Triều Tiên.[2]

Tháng 4 năm 2014, tại phiên họp đầu tiên của Hội đồng Nhân dân Tối cao lần thứ 13, Kim Yong-chun được miễn nhiệm chức vụ Phó Chủ tịch Ủy ban Quốc phòng Triều Tiên.[4]

Mặc dù Kim Yong-chun không còn nắm giữ các chức vụ cao cấp trong quân đội Triều Tiên, nhưng ngày 14 tháng 4 năm 2016, ông vẫn được thăng quân hàm Nguyên soái Quân đội Nhân dân Triều Tiên ở tuổi 80; cùng được thăng hàm Nguyên soái với Kim Yong-chun là Hyon Chol-hae (82 tuổi).[5] Theo hãng Thông tấn Trung ương Triều Tiên (KCNA) hai sĩ quan chỉ huy của quân đội Triều Tiên là Kim Yong-chun và Hyon Chol-hae được thăng hàm Nguyên soái là do họ đã có nhiều đóng góp to lớn vào việc kiện toàn hệ thống chỉ huy của Đảng trong quân đội Triều Tiên và tăng cường sức mạnh của quân đội bằng cách giữ vững lòng trung thành với ban lãnh đạo.[6]